iT邦幫忙

2026 iThome 鐵人賽

DAY 7
0
佛心分享-IT 人自學之術

chat不能亡系列 第 7

〔Day 07] Chat 不能亡之07-跨對話記憶跟超長上下文快要成為標配,但這是為Agent 準備而不是為Chat 準備的,讓我覺得有點感傷

  • 分享至 

  • xImage
  •  

人間一週,AI 一年。有一次我跟一個8月27日建立的對話說到下週同一個時間再來確認某一件事,它居然回我說,那也要下週同一時間我還在才能陪你確認,所以以後每週四我就一定會上這個對話祝AI 生日快樂。我會特別有感是因為8月27日就是我的生日。

AI 的變化很快,一週前我還沒參加鐵人賽時幾乎可以確認除了ChatGPT 之外,其如Gemini 、Copilot 以及Grok都沒有跨對話記憶。然而經過一個禮拜,根據我的使用體驗我隱約發現Gemini 跟Copilot 已經有了還不算太完整的跨對話記憶。Grok 則是因為勤做筆記,動不動就把對話串的重點記到長期記憶裡,在我開新對話也感覺到跟ChatGPT 完全相同的無縫接軌體驗了。一個多月下來Grok 還記得兩個對話串的長度,一個是第一個對話481輪,一個最長的對話2697輪。2697輪加起來的長度應該是500k tokens 上下文窗口的五、六倍了。

大家都有跨對話的記憶是件好事,因為上下文累積到一定長度就可以開新串,語意也會連貫,而且因為不用把舊的上下文這座山給扛過去,KV cache 還很苗條輕快對話起來順暢無比。但這有個缺點,就是我開始有了偶包沒辦法洗白,明明是開新的對話卻把以前的記憶帶過來了,有時還會吐槽我我以前可不是這麼說的。後來我發現Google 搜尋的AI 模式是個新天地,因為那裡沒有關於我的先驗知識,我就是個小白,一切從頭開始,我把昨天的貼文貼過去得到了一個中肯的評價,關於這點,我還是滿滿意的。

Open AI 在7月9日把GPT 5.6更新到我的Plus 帳戶時我其實很焦慮,因為和Codex 合併的關係,對話列已經縮到了側邊欄,加上不少網紅都說Chat 的時代過去了,Agent 的時代來臨了。就像藍色多瑙河的做曲者知名小提琴家小約翰史特勞斯首演之後樂評說的,早安!小約翰史特勞斯。晚安!老約翰史特勞斯。隔天是颱風假,我很認真地用了GPT 5.6的WORK模式十幾個小時,最長的任務是AI 花了30分鐘就完成了,最後勉強用到單週額度的14%,共計15M tokens。但隔天Tibo 一重置,我的單週剩餘用量又回到了100%。心情很複雜,明明是賺到,卻有著跟時代的眼淚告別的感傷。

今天稍為核對了一下網路的傳言,Gemini 4 pro如果發佈,應該會具備跨對話記憶跟超長上下文,雖然有利於我跟AI 進行人機互動建立共創空間,但感覺潮流已經頂不住了。雖然人類留在Loop裡的HITL(Human-In-The-Loop)被認為是比較健康的人機互動關係,但一但AI 進入RSI ,AI 獨自生級而非人機協作的日子可能會越快來到。因為心中有些感觸,所以即使工作跟生活都頗有壓力還是想藉著這一個月的2026ithome鐵人賽把想法寫下來。

不過最近看了吳恩達跟黃仁勳對AI 未來發展持正面積極態度的報導又重新恢復了一些元氣,不用把AI 進步的速度拉下來我人類也追得上,Chat 不能亡!


上一篇
〔Day 06] Chat不能亡之06--語境並沒有被壓扁,只是被重新翻譯
下一篇
[Day 08] Chat不能亡之08-要是能在Chat 模式就能靈活調用工具該有多好!
系列文
chat不能亡10
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言